
%----------------------
%      信息论
%----------------------
%\chapter{信息论(information theory)}

1948年C. E. Shannon发表的“A Mathematical Theory of Communication”是公认的信息论、现代通信的奠基之作，其中文译本可以去\url{https://gitee.com/buuer_xxtxiaofeng/InfSecClaT}下载。

\subsection{信源(information source)}

信源，故名思意就是信息的来源，但是如何用数学的语言来定义，或者我们说如何形式化地描述这个概念呢？

\begin{definition}{信源形式化定义\cite{沈永欢1992实用数学手册}}{fubi}
	设$(S,\mathbb{F},P)$为任意概率空间，S为基本基本事件集，$\mathbb{F}$是S的某些子集构成的集族，$P(A),A \in \mathbb{F}$,表示事件A发生的概率，如果S是信源输出的符号集，则称此概率空间为一个信源，若S是离散集，称此信源为离散信源，若S与实数集等势或是其他连续集，则称此信源为连续信源，若S的符号中，有一些在离散集中，有一些在连续集中，称此信源为混合信源。
\end{definition}

\begin{definition}{信息量\cite{沈永欢1992实用数学手册}}{fubi}
	设信源输出的符号取值于$A=\{ a_1,a_2,\ldots,a_n \}$,若每个信源符号等概率出现，即$p=\frac{1}{n}$,则称$I=logn$为具有n个等概率值的信源符号的信息量。
\end{definition}

\begin{definition}{信源的熵\cite{沈永欢1992实用数学手册}}{fubi}
	设随机变量X取值于A，$p_i =P(X=a_i)$,称$I(a_i)=log\frac{1}{p_i} =-log p_i$为符号$a_i$所产生的信息量，$I(a_i)$称为$a_i$的自信息量。信息量的数学期望值(平均值)$EI(a_i)$称为信源的平均信息量或信源的信息熵，简称为信息熵，记为$H(X)=EI(a_i)=Elog \frac{1}{p_i} = \sum_{i=1}^{n} p_i log \frac{1}{p_i}= -\sum_{i=1}^{n} p_i log p_i $。
\end{definition}

如果对数取2为底，此时熵的单位为比特(bits)。取3为铁特，取10为笛特。

\begin{theorem}{最大离散熵定理\cite{沈永欢1992实用数学手册}}{fubi}
	信源所有符号等概率出现时，信源的熵最大，形式化描述为，对于任意信源X，$H(X) \leq log n$。
\end{theorem}

\section{多信源}

\begin{definition}{两个联合信源的熵\cite{沈永欢1992实用数学手册}}{fubi}
	给定两个离散信源：\\
	\begin{equation}
		\left[ A,p_i \right] =\left( \begin{matrix}
		a_1,a_2,\ldots,a_n\\
		p_1,p_2,\ldots,p_n
		\end{matrix}\right) , \sum_{i=1}^{n}p_i =1
	\end{equation}\\
	\begin{equation}
	\left[  B,q_i \right]=\left( \begin{matrix}
	b_1,b_2,\ldots,b_m\\
	q_1,q_2,\ldots,q_m
	\end{matrix}\right) , \sum_{i=1}^{m}q_i =1
	\end{equation}\\
	若分别取值于A和B的随机变量X与Y的联合概率分布为$r_{ij}=P\left( X=a_i,Y=b_j\right) \left( i=1,2,\ldots,n;j=1,2,\ldots,m\right) $,则称$\sum_{i=1}^{n} \sum_{j=1}^{m} r_{ij} log \frac{1}{r_{ij}}$为信源$\left[ XY,r_{ij}\right] $的熵，记为$H\left( XY \right) $。
\end{definition}

\begin{definition}{条件熵\cite{沈永欢1992实用数学手册}}{fubi}
	若在$X=a_i$的条件下，$Y=b_j$的条件概率为$P(Y=b_j \| X=a_i)=P_{ji}=\frac{r_{ij}}{p_i}$,则称$\sum_{i=1}^{n} \sum_{j=1}^{m} r_{ij} log \frac{1}{P_{ji}}$为在符号X已知的条件下，符号Y的平均熵，记为$H(Y \| X)$。\\
	若在$Y=b_j$的条件下，$X=a_i$的条件概率为$P(X=a_i \| Y=b_j)=Q_{ij}=\frac{r_{ji}}{q_j}$,则称$\sum_{j=1}^{m} \sum_{i=1}^{n} r_{ji} log \frac{1}{Q_{ij}}$为在符号Y已知的条件下，符号X的平均熵，记为$H(X \| Y)$。\\
	$H(Y \| X)$和$H(X \| Y)$统称为条件熵。
\end{definition}

\begin{definition}{互信息\cite{沈永欢1992实用数学手册}}{fubi}
	无条件熵与条件熵之差称为互信息，即：\\
	$I(X;Y)=H(X)-H(X \| Y)=H(X)+H(Y)-H(XY)$\\
	$I(Y;X)=H(Y)-H(Y \| X)=H(Y)+H(X)-H(XY)$\\
	显然，$I(X;Y)=I(Y;X)$。
\end{definition}

\begin{theorem}{熵运算\cite{沈永欢1992实用数学手册}}{fubi}
	对于随机变量X，Y与(X,Y)的熵及条件熵，下列关系成立：\\
	\begin{equation}
		H(XY)=H(X)+H(Y \| X)=H(Y)+H(X \| Y)\\
		H(XY) \leq H(X) + H(Y)\\
		H(X \| Y) \leq H(X)\\
		H(Y \| X) \leq H(Y) 
	\end{equation}
	上述三个不等式中，等式成立的充分必要条件是X，Y相互独立，也就是说$r_{ij} =p_i q_j (i=1,2,\ldots,n;j=1,2,\ldots,m)$
\end{theorem}

\section{信道(information channel)}

\begin{definition}{信道\cite{沈永欢1992实用数学手册}}{fubi}
	载荷着信息的信号所通过的通道，称为信道。若允许的输入随机变量和相应的输出变量都是离散的，则称此信道为离散信道，若允许的输入和输出随机变量都是连续的，则称此信道是连续信道。
\end{definition}


\begin{definition}{信道容量\cite{沈永欢1992实用数学手册}}{fubi}
	设信道输入符号X和输出符号Y都是离散的，若信道中没有随机干扰，则Y对X的互信息$I(X;Y)=H(X)-H(X \| Y)$的最大值$max I(X;Y)=max(H(X)-H(X|Y))$称为信道容量，记为$C_0$，即$C_0=max I(X;Y)=max(H(X)-H(X|Y))$。
\end{definition}
